我们研究了可变形对象的学习图动力学问题,这些动力学将其推广到未知物理特性。特别是,我们利用了像布状可变形物体的弹性物理特性的潜在表示,我们通过拉动相互作用探索。我们提出了EDO-NET(弹性可变形物体 - NET),该模型在具有不同弹性特性的各种样品上以自我监督的方式训练。EDO-NET共同学习了一个适应模块,负责提取对象物理特性的潜在表示,以及一个前向动力学模块,该模块利用潜在的表示来预测类似布的对象的未来状态,表示为图形。我们在模拟和现实世界中评估了江户网 - 评估其功能的:1)概括为布状可变形物体的未知物理特性,2)将学习的表示形式转移到新的下游任务。
translated by 谷歌翻译
与纺织品(例如辅助敷料)的物理互动依赖于先进的灵巧能力。拉扯和拉伸时纺织行为的潜在复杂性是由于纱线材料特性和纺织品构造技术所致。如今,还没有采用和注释的数据集评估各种交互或属性识别方法。影响这种相互作用的一种重要特性是材料弹性是由纱线材料和构造技术引起的:这两个是交织在一起的,如果不知道A-Priori,几乎无法通过在机器人平台上使用常见的传感来识别。我们介绍了弹性环境(EC),该概念集成了影响弹性行为的各种属性,以使其与纺织品进行更有效的物理互动。 EC的定义依赖于纺织工程中常用的压力/应变曲线,我们为机器人应用重新制定了压力/应变曲线。我们使用图形神经网络(GNN)使用EC来学习纺织品的通用弹性行为。此外,我们探讨了EC对非线性现实世界弹性行为的准确力量建模的影响,从而强调了当前机器人设置以感知纺织特性的挑战。
translated by 谷歌翻译
在无法明确计算系统状态(例如操纵可变形物体)的应用程序中,视觉动作计划特别出色,因为它可以直接从原始图像中进行计划。尽管深度学习技术已经显着加速了该领域,但其成功的关键要求是大量数据的可用性。在这项工作中,我们建议在数据稀缺的情况下实现视觉行动计划,以实现视觉行动计划。我们建立在潜在的空间路线图(LSR)框架上,该框架通过在低维潜在空间中建造的图表执行计划。特别是,ACE用于i)通过自动创建新的数据点来增强可用培训数据集,ii)在潜在图中的状态表示之间创建新的未观察到的连接;方式。我们在模拟框堆叠和现实世界折叠任务上验证了所提出的方法,分别显示了刚性和可变形的对象操纵任务的适用性。
translated by 谷歌翻译
我们为具有高维状态空间的复杂操纵任务的视觉动作计划提供了一个框架,重点是操纵可变形物体。我们为任务计划提出了一个潜在的空间路线图(LSR),这是一个基于图的结构,在全球范围内捕获了低维潜在空间中的系统动力学。我们的框架由三个部分组成:(1)映射模块(mm),该模块以图像的形式映射观测值,以提取各个状态的结构化潜在空间,并从潜在状态产生观测值,(2)LSR,LSR的LSR构建并连接包含相似状态的群集,以找到MM提取的开始和目标状态之间的潜在计划,以及(3)与LSR相应的潜在计划与相应的操作相辅相成的动作提案模块。我们对模拟的盒子堆叠和绳索/盒子操纵任务进行了彻底的调查,以及在真实机器人上执行的折叠任务。
translated by 谷歌翻译
Traditionally, data analysis and theory have been viewed as separate disciplines, each feeding into fundamentally different types of models. Modern deep learning technology is beginning to unify these two disciplines and will produce a new class of predictively powerful space weather models that combine the physical insights gained by data and theory. We call on NASA to invest in the research and infrastructure necessary for the heliophysics' community to take advantage of these advances.
translated by 谷歌翻译
Point-of-Care Ultrasound (POCUS) refers to clinician-performed and interpreted ultrasonography at the patient's bedside. Interpreting these images requires a high level of expertise, which may not be available during emergencies. In this paper, we support POCUS by developing classifiers that can aid medical professionals by diagnosing whether or not a patient has pneumothorax. We decomposed the task into multiple steps, using YOLOv4 to extract relevant regions of the video and a 3D sparse coding model to represent video features. Given the difficulty in acquiring positive training videos, we trained a small-data classifier with a maximum of 15 positive and 32 negative examples. To counteract this limitation, we leveraged subject matter expert (SME) knowledge to limit the hypothesis space, thus reducing the cost of data collection. We present results using two lung ultrasound datasets and demonstrate that our model is capable of achieving performance on par with SMEs in pneumothorax identification. We then developed an iOS application that runs our full system in less than 4 seconds on an iPad Pro, and less than 8 seconds on an iPhone 13 Pro, labeling key regions in the lung sonogram to provide interpretable diagnoses.
translated by 谷歌翻译
Recent research in clustering face embeddings has found that unsupervised, shallow, heuristic-based methods -- including $k$-means and hierarchical agglomerative clustering -- underperform supervised, deep, inductive methods. While the reported improvements are indeed impressive, experiments are mostly limited to face datasets, where the clustered embeddings are highly discriminative or well-separated by class (Recall@1 above 90% and often nearing ceiling), and the experimental methodology seemingly favors the deep methods. We conduct a large-scale empirical study of 17 clustering methods across three datasets and obtain several robust findings. Notably, deep methods are surprisingly fragile for embeddings with more uncertainty, where they match or even perform worse than shallow, heuristic-based methods. When embeddings are highly discriminative, deep methods do outperform the baselines, consistent with past results, but the margin between methods is much smaller than previously reported. We believe our benchmarks broaden the scope of supervised clustering methods beyond the face domain and can serve as a foundation on which these methods could be improved. To enable reproducibility, we include all necessary details in the appendices, and plan to release the code.
translated by 谷歌翻译
在许多情况下,更简单的模型比更复杂的模型更可取,并且该模型复杂性的控制是机器学习中许多方法的目标,例如正则化,高参数调整和体系结构设计。在深度学习中,很难理解复杂性控制的潜在机制,因为许多传统措施并不适合深度神经网络。在这里,我们开发了几何复杂性的概念,该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合,我们表明,许多常见的训练启发式方法,例如参数规范正规化,光谱规范正则化,平稳性正则化,隐式梯度正则化,噪声正则化和参数初始化的选择,都可以控制几何学复杂性,并提供一个统一的框架,以表征深度学习模型的行为。
translated by 谷歌翻译
先前的工作表明,单词在语音维度上是超级定义的,这些语音将它们与最小对竞争者区分开来。该现象已称为对比度超颗粒(CH)。我们提出了语音发作时间(fot)计划的动态神经场(DNF)模型,该模型从最小对竞争者的抑制作用中得出了CH。我们通过一项新的实验来测试模型的一些预测,该实验研究了伪金中无声的停止辅音CH。结果证明了伪造中的CH效应,这与实时计划和语音生产的效果的基础一致。与CH相比,用真实的词降低了伪金中CH的范围和大小,这与词汇和语音计划之间的互动激活的作用一致。我们讨论了模型统一一组明显不同现象的潜力,从CH到语音邻域效应到语音误差中的语音痕量效应。
translated by 谷歌翻译
跌倒是致命和非致命伤害的主要原因,尤其是对于老年人。身体内部原因(例如疾病)或外部原因(例如主动或被动扰动)可能导致不平衡。主动扰动是将外力施加到人的结果,而被动扰动是由于人类运动与静态障碍相互作用而导致的。这项工作提出了一个指标,该指标允许监视躯干及其与主动和被动扰动的相关性。我们表明,躯干摇摆的巨大变化可以与主动扰动密切相关。我们还表明,通过调节过去的轨迹,躯干运动和周围场景的预期路径和躯干摇摆,我们可以合理地预测躯干摇摆的未来路径和预期变化。这将有直接的预防应用程序。结果表明,躯干摇摆与扰动密切相关。而且我们的模型能够利用全景图中介绍的视觉提示并相应地调节预测。
translated by 谷歌翻译